Опр: Класс  наз. -алгеброй, если 1. A влечет \A.		2. Ai, i=1,2,… влечет Ai, Ai.
Опр: Тройку (,,P), где  - пр-во элементарных событий,  - -алгебра подмножеств , называемых событиями, P – числовая функция, определенная на событиях и называемая вероятностью, будем называть вероятностным пространством, если выполнены след. аксиомы:
1o. P(A)0 для всех A.		2o. P()=1.	3o. Если AiAj=, то P(An)= P(An).
	Пр-во элементарных событий, достоверное событие	
, 	Элементарное событие 	
A, A	Событие A	
AB, A+B	Сумма событий A и B	
AB, AB	Произведение событий A и B	
A\B	Разность событий A и B	
	Невозможное событие	
\A	Противоположное A событие	
AB=	A и B несовместны	
AB	A влечет событие B	
A=B	A и B равносильны	
Свойства вероятности:
1). Если AB, то P(B\A)=P(B)-P(A).
Т.к. B=A+(B\A) и A(B\A)=, то по аксиоме 3o P(B)=P(A)+P(B\A).
2). Если AB, то P(A)P(B).	Следует из 1)
3). Для A  0P(A)1.	Следует из 2), т.к. A.
4). P(\A)=1-P(A).	Следует из аксиомы 3o, т.к. A+A=, AA=.
5).P()=0.	Следует из 4) и аксиомы 2o.
6). Конечная аддитивность: если AiAj=, ij, то P(1nAk)= 1 nP(Ak)	Следует из аксиомы 3o, док-ся по индукции.
7). Для  событий A1,…,An  P(Ak) P(Ak).
Представим k=1nAk в виде суммы попарно несовместных событий Bk=Ak\(A1…Ak-1): k=1nAk= k=1nBk. По св-ву аддитивности 6) имеем P(Ak)=P(Bk), откуда  7) т.к. P(Bk)P(Ak).
8). Для  событий A и B  P(AB)=P(A)+P(B)-P(AB).	Следует из AB=A+(B\AB), аксиомы 3o, и св-ва 1).
Опр: Пусть P(B)>0. Условной вероятностью P(A|B) события A при условии, что произошло событие B, наз. отношение P(A|B)=P(AB)/P(B).
Теорема умножения: P(AB)=P(B)PB(A).
Опр: События A и B наз. независимыми, если P(AB)=P(A)P(B).
Опр: Систему событий A1,…,An будем называть разбиением, если они попарно несовместны и A1+…+An=.
Теор (Формула полной вероятности): Если A1,…,An – разбиение и все P(Ak)>0, то для  события B имеет место формула P(B)=P(Ak)P(B|Ak).
Док-во: B=B=BA1+…+BAn – сумма попарно несовместных событий, поэтому P(B)=P(BAk). Далее по т. умножения. 
Теор (Формулы Байеса): Если справедлива ф. полной вер-ти и P(B)>0, то P(Ak|B)=P(Ak)P(B|Ak)/P(Ai)P(B|Ai).
Док-во: По т. умножения P(AkB)=P(Ak)P(B|Ak)=P(B)P(Ak|B). Откуда выразить P(Ak|B) и далее по ф. полной вероятности. 

Опр: Испытание – некоторое вероятностное пространство.
Пусть даны n испытаний, т.е. даны вероятностные пр-ва (1,1,P1),…, (n,n,Pn). Если эти вероятностные пр-ва есть модели некоторых причинно независимых испытаний, то -алгебры 1,…,n должны быть независимыми. Но для того чтобы иметь возможность говорить о теоретико-вероятностной независимости, мы должны рассматривать i как -подалгебры -алгебры  одного общего вероятностного пр-ва (,,P). Пусть (i,i,Pi) – конечное вероятностное пр-во, i={i}, i состоит из всех подмножеств i, а вероятность Pi(A)=pi(i) задается с помощью вероятностей элементарных событий pi(i), ii. Построим прямое произведение вероятностных пространств (,,P), полагая =1…n, точки которого  есть векторы =(1,…,n) с компонентами ii, i=1,…,n,  - алгебра всех подмножеств , p()=p1()…pn(), P(A)=p().
Построенная так вероятность P наз. прямым произведением вероятностей Pi и обозначается P=P1…Pn. =1…n есть прямое произведение алгебр.
Частный случай независимых испытаний, с двумя исходами в каждом из испытаний, строится след. образом. Пусть вероятностные пр-ва таковы, что i={0,1}, i={,{0},{1},i}, p(0)=p, p(1)=q, p+q=1. Тогда в прямом произведении (,,P) имеем ={}, =(1,…,n), i=0,1,   p()=piq1-i. Построенная схема независимых испытаний наз. схемой Бернулли. Обычно она трактуется след. образом. Пусть некоторый исход A, который наз. успехом, может произойти при каждом испытании с одной и той же вероятностью p; \A (неуспех) с q=1-p. В элементарном событии =(1,…,n) имеем i=1, если при i-м испытании произошел успех, и i=0 в противоположном случае. Обозначим Bk={:1+…+n=k} событие, состоящее в том, что при n независимых испытаниях в схеме Бернулли произошло ровно k успехов.
P(Bk)=Cnkpkqn-k, k=0,1,…,n. – биномиальное распределение.

Опр: Случайной величиной  наз. действительная функция =(), такая что x {: ()<x}.
Введем вероятностное пр-во.
1)	(,,P), - минимальная -алгебра. Такое вер-ное пр-во наз. порожденным сл. величиной .
2)	(R,,P) – новое вер. пр-во, где A, P(A)=P(-1(A))=P(B). Такое вер. пр-во наз. индуцированным вер. пр-вом.
Опр: Функция F(x)=P(x) действительной переменной x, -<x<, наз. функцией распределения случайной величины .
Функция распределения F(x) обладает след. свойствами:
1. Если x1x2, то F(x1)F(x2). (F(x) не убывает)		2. F(-)=0. F(+)=1.
3. limxx0-0F(x)=F(x0). (F(x) непрерывна слева)
Закон распределения сл.в.  наз. дискретным, если  конечное или счетное мн-во чисел x1,…,xn,… таких что P(=xn)=pn>0, n=1,2,…  pn=1. Дискретный закон распределения полностью определяется указанием значений xn, n=1,2,… и вероятностей pn, с которыми эти значения принимает сл.в. Случайная величина, имеющая дискретный закон распределния, тоже наз. дискретной.
Закон распределения наз. абсолютно непрерывным, если  неотрицательная функция p(x) такая, что при любом x F(x)=P(x)=-∫xp(u)du. При этом p(x) наз. плотностью распределения.
Непрерывные функции распределения, не имеющие плотностей, наз. сингулярными.
Плотность распределения обладает следующими  свойствами:
1. p(x)0, -<x<.	2. -∫p(x)dx=1.	3. F’(x)=p(x) в точках непрерывности p(x).
Теорема Лебега о разложении функции распределения. Пусть  - сл. вел. с функцией распределения F(x), тогда ! Fac(x), Fs(x), Fd(x) соответственно абс. непр., сингулярная и дискретная ф. распр. и числа p1,p2,p3, pi0, p1+p2+p3=1 такие, что F(x)=p1Fac(x)+p2Fs(x)+p3Fd(x). (единств-ть тогда, когда соотв. слагаемое действительно входит в сумму).
Док-во: F(x): 1) хотя бы одна точка разрыва	2) непрерывна
1) x1<x2<…<xn – точки разрыва и пусть i= F(xi+0)-F(xi). Введем функцию F^d(x)={0, xx1; 1, x1<xx2; 1+2, x2<xx3… Функция F^d(x) обладает след. св-вами: 1) неубывает, 2) непрерывна слева, 3) limx-F^d(x)=0, 4) limx+F^d(x)=i-1i1.
а) i-1i=1  p3=1, p1=p2=0  т. доказана
б) i-1i=<1  Fd(x)=1/F^d(x). Рассм. F^c=F-F^d(x) – непр., неуб. функция. limx-F^с(x)=0, limx+F^c(x)=1-, Fc(x)=F^c(x)/1- - непр. ф-ция распр-ния.  F(x)=F^c(x)+F^d(x)=Fd(x)+(1-)Fc(x). Из построения понятно,что такое построение единственно.
в) Fc(x) – ф-ция распр-ния порождает меру c(dx) и рассм. меру Лебега. Тогда в силу т. Лебега о разложении мер ! ac и s соотв-но абс. непр. и сингулярная относ. меры Лебега и такие, что c(B)=s(B)+ac(B) B - борел. мн-во
Fc(x)=s((-,x))+ac((-,x))=F^s(x)+F^ac(x) (непр., неуб., limx-=0). limx+F^s(x)=s(),limx+F^ac(x)=ac()
1=c()=s()+ac() (s()=,ac()=1-, 01)	=0  p2=0 Fac(x)=Fc(x)	=1  p1=0 Fs(x)=Fc(x)
0<<1  Fs(x)=1/F^s(x)  Fac(x)=1/1-F^ac(x). Fc(x)=Fs(x)+(1-)Fac(x). Положим p1=(1-)(1-), p2=(1-), p3=.

Совокупности случайных величин. Пусть на вероятностном пр-ве (,,P) заданы сл. величины 1=1(),…,n=n(), . Каждому  эти величины ставят в соответствие n-мерный вектор. Совместной функцией распределения величин 1,…,n наз. вероятность F(x)=F1…n(x1,…,xn)=P(1<x1,…,n<xn), рассматриваемая как функция точки x=(x1,…,xn) n-мерного евклидова пр-ва Rn.
Случайные величины 1,…,n наз. независимыми, если независимы порожденные ими -алгебры 1,…,n.
Сходимость почти наверное. Мы будем говорить, что посл-ть 1,2,… сходится почти наверное (п.н.) к сл. веричине , и писать nп.н., если P{limnn=}=1.Сходимость по вероятности. Мы говорим, что n сходится по вероятности к  (и обозн. nP), если для >0 P{|n-|>}0, n.
Слабая сходимость. 
Теор. 1: Если nP, то функция распределения Fn(x) слабо сходится к функции распределения F(x).
Док-во: Обозн. событие {|n-|}=An. Т.к. при An -n+, то при x мы имеем {nx}{x+}A  n,
{x-}{nx} A  n,  P{x-}-P(A  n)P{nx}P{x+}+P(A  n), 
P{x-}limnP{nx}limnP{nx}P{x+}.  Если x – точка непр-ти F(x), то limnFn(n)=F(x). 
Сходимость в среднем. Мы будем говорить, что посл-ть n сходится в среднем порядка r>0, если E|n-|r0, n.
Если r=2, то сходимость наз. сходимостью в среднем квадратическом.
nп.н.  nP	nr  nP

Неравенство Маркова. P{||}E||k/k  для всякого k0, >0.
Док-во: Если A={||}, то ||k  ||kIA  kIA  E||k  kEIA = kP(A). 
Полагая k=2 и заменяя  на -E, получаем неравенство Чебышева: P{|-E|}D/2.
Для каждого n определим дискретные сл. в. 1,…,n, независимые в совокупности и принимающие значения 1 или 0 с вероятностью p и q=1-p соответственно. Положим Sn=1+…+n. Часто в этом случае говорят об n независимых испытаниях с постоянной вероятностью p успешного испытания. Тогда Sn – число успешных испытаний из n испытаний.
Закон больших чисел в форме Чебышева: Для >0 P{|Sn/n-p|}0 при n.
Док-во: нер-во Чебышева  P{|Sn/n-p|}D(Sn/n)/2=pq/n20. 
Пусть не вероятностном пр-ве (,,P) определена посл-ть событий An. С каждой такой посл-тью можно связать события A={:An для бесконечно многих n}, A={:An для всех, кроме конечного числа n}, которые наз. соответственно верхним и нижним пределами посл-ти {An}. A=limnsupAn, A=limnsupAn.
A=n=1mnAm, A=n=1mnAm.

Лемма Бореля – Кантелли.
Если n=1P(An)<, (1) то P(A)=0. Если A1,A2,… независимы и n=1P(An)=, (2) то P(A)=1.
Док-во: Рассм. сл. величину =n=1IAn, равную числу тех номеров n, при которых происходит An (т. е. ()=k, если ровно для k номеров n An). По теореме о монотонной сх-ти E= n=1EIAn= n=1P(An), поэтому из (1)  E>, т. е. сл. вел. с вероятностью 1 конечна, а т. к. P(A)=P{=}, то первая часть леммы доказана. Для док-ва второй части воспользуемся незав-тью A1,A2,… в соотношении P{A}=limnP{m=nAm}=1-limnP{m=n(-Am)}=1-limnlimkP{m=nk(-Am)}=1-limnlimk m=nk(1-P(Am))= 1-limn m=n(1-P(Am))=1, т. к. ряд (2) расходится. 
Нер-во Колмогорова.
Пусть 1,…,n нез. и имеют конечные Ek и Dk. Тогда P{max1kn|k-Ek|x}Dk/x2, где k=1+…+k.
Док-во: Далее будем считать Ek=0. Это не ограничивает общности, т. к. всегда можно перейти от k к k-Ek. Введем сл. величину =min{k|k|x}. Если max1kn|k|<x, то положим =n+1. Т. к. n2n2k=1nI{=k}, то En2k=1nEn2I{=k}= k=1nE(1+…+k+k+1+…+n)2I{=k} k=1nE(1+…+k)2I{=k}+2 k=1n-1E(1+…+k)I{=k}(k+1+…+n).
Сл. величина I{=k} зависит лишь от 1,…,k, поэтому (1+…+k)I{=k} не зависит от k+1,…,n и E(1+…+k)I{=k}(k+1+…+n)= E(1+…+k)I{=k}E(k+1+…+n)=0. Т. к. для {=k} имеем kx и P{n}= P{max1kn|k|x}, то En2 k=1nEn2I{=k}x2P{n}= P{max1kn|k|x}.
Усиленный закон больших чисел Колмогорова.
Пусть 1,2,… нез. и одинаково распределены. Для них  Ek=ak, Dk=bk2, n=1bn2/n2<. Тогда для посл-ти 1,2,…вып-ся усиленный ЗБЧ, т.е. n-En/nn0 с вер. 1. (n=1+…+n)
Док-во: n=sup1m2n|m-Em|, 1/k|k-Ek|2-nn+1,k: 2nk2n+1. Дост. доказать, что n+1/2n0 при k с вер-тью 1.  >0 выполняется только конечное число событий An=(n+1/2n>).  {по лемма Б-К} P(An)<.
Нер-во Колм.  n=1P(n+1/2n>) n=1(D2n+1/222n)= n=1 k=12n+1bk2/222n4/2k=1bk2n[log2k]-12-2n
4/2k=1bk22-2([log k]-1)/3/44/2k=1bk22-2(log k-2)/3/4Ck=1bk2/k2<.
УЗБЧ для независимых одинаково распр. сл. величин.
Пусть 1,2,… независимы, En=0, Dn=2n и n=12n/n2<. Тогда 1+…+n/nп.н.0.	(1)
Док-во: Обозн. n=1+…+n. Сх-ть (1) равносильна условию P{knsup|k/n|>}0, n, >0.
Обозн. An={2n-1k<2nmax|k/n|>}  (1) ~ P{k=nAk}0, n. По нер-ву Колмогорова P(An)P{2n-1k<2nmax|k|>2n-1}
P{1k2nmax|k |>2n-1}4D2n/222n. Далее k=1P(Ak)4-2 k=12-2k n=12k2n4-2 n=12k2n {k:2kn}2-2k8-2 n=12n/n2<, т.к. k=k02-2k2-2k0+1. Из сх-ти ряда kP(Ak)  (1), т.к. P{ k=nAk} k=nP(Ak)0, n.

Характеристической функцией сл. величины  наз. функция f(t) от действительного аргумента t, равная f(t)=Eeit.
Свойства характеристических функций:
1)	|f(t)|1 при каждом действительном t; f(0)=1.
Доказательство просто получается из неравенства |E|E||, т.к. |eit|=1 и |f(t)|=|Eeit|E|eit|=1.
2)	Если =a+b, где a и b – константы, то f(t)=eitbf(at).
F(t)=Eeit=Eeit(a+b)=eitbEeita=eitbf(at).
3)	Если 1,2,…,n независимы, то f1+…+n(t)=k=1nfk(t).
Из нез-ти 1,…,n  нез-ть eit1,…,eitn; применяя к ним св-во мультипливативности мат. ожидания, получаем f1+…+n(t)=Eeitk=1nk=Ek=1neitk=k=1nEeitk.
4)	f(-t)=f(t).
Вытекает из e(it)=e-it и св-ва 2)
5)	Обозначим mn=En. Если mn конечно, то  все производные f(k)(t) с kn и f(k)(0)=ikEk.
 Док-во: Если мы k раз формально продифференцируем х. ф., то получим равенство f(k)(t)=ikEkeit=ik-∫xkeitxdF(x). Полагая t=0, приходим к f(k)(0)=ikEk. 
6)	Если (s)=Es - производящая функция целочисленной сл. величины, то f(t)=(eit).
Следует из определения.

Закон больших чисел в форме Хинчина. Если 1,2,… независимы, одинаково распределены и En=a конечно, то имеет место закон больших чисел: 1+…+n/nPa.
Док-во: Хар-кая функция f(t) случайной величины k-a представима в окрестности нуля в виде f(t)=1-o(t), поэтому, обозначая n’=1+…+n-na, имеем fn’/n(t)=[f(t/n)]n1,  слабая сходимость n’/n к нулю, что равносильно n’/n P0. 
Функцию нормального распределения будем обозначать Ф(x)=-∫xe-u2/2du.
Центральная предельная теорема. Если сл. величины 1,2,… нез-мы, одинаково распределены и имеют конечные Ei=a и Di=2>0, то limnP{1+…+n-na/n x}=Ф(x).
Док-во: Используем аппарат хар-ких функций. Обозначим n=1+…+n, ~k=k-ak, ~n=n-na/n, тогда ~n=1/n  k=1n~k. Пусть f(t)=f~k(t) – хар-кая функция ~k. Т. к. E~k=0, E~k2=Dk=2, то, f(t)=1-t22/2+o(t2) при t0 и, следовательно, при любом фиксированном t имеем f~k(t)=[f(t/n)]n=(1-t2/2n+o(t2/n))ne-t2/2, n.

Условное мат. ожидание. Пусть A – событие и P(A)>0. Если  - интегрируемая действительная сл.в., то по определнию E(|A)=∫dPA=1/P(A)A∫dP	(1)	есть условное мат. ожидание сл. в.  относительно события A.
Начнем с простого случая, когда  есть сл. в., принимающая значения x1,x2,… с положительными вероятностями, т. е. =k1xkIAk, где Ak={=xk}, P(Ak)>0. Определим сл. в. E(|) соотношением E(|)()=k1E(|Ak)IAk()= k1E(|=xk)I{=xk}(). Сл. в. E(|) есть по определению условное мат. ожидание сл. величины  относительно сл. в. .
Если A – событие вида A=iIAi, где I{1,2,…}, то используя формулу (1), получим A∫E(|)dP=EIAE(|)= Ek1E(|Ak)IAAk=EiIE(|Ai)IAi=iIE(|Ai)EIAi=iIAi∫dP=A∫dP, т. е. A∫E(|)dP=A∫dP	(2)	для любого события A вида iIAi. Положим =-1(B1). Т. к. -алгебра  совпадает с классом событий вида iIAi, то равенство (2) выполняется для всех A. Это обстоятельство может быть положено в основу определения E(|).

Цепи Маркова. Пусть 0,1,…,T – посл-ть случайных испытаний.	(1)
В этой посл-ти зафиксируем какой-нибудь момент времени t. Алгебру событий t назовем настоящим, алгебру 0t-1, порожденную алгебрами 0,1,…,t-1, назовем прошлым, алгебру событий t+1T, порожденную алгебрами t+1,…,T, - будущим. Любое событие из 0t-1 также назовем прошлым, из t+1T – будущим, из t – настоящим. Например, событие {:найдется такое k, что t<k<T и k=k+1} принадлежит будущему, а событие {:для всех k, 0k<t, kr} – прошлому.
Опр: Посл-ть испытаний (1) мы будем называть цепью Маркова, если при любом фиксированном настоящем t=k прошлое 0t-1 и будущее t+1T независимы, т. е. для любых 1kr, t=1,2,…,T-1, A0t-1, Bt+1T P{AB|t=k}=P{A|t=k}P{B|t=k}.
Блуждание с поглощением. Пусть по точкам 0,1,…,N прямой блуждает частица. Время t дискретно. Если в момент t частица была в точке i, то в след. момент t+1 она независимо от ее положений в более ранние моменты времени с вероятностью pij попадает в точку j. Если ||pij|| задается равенствами p00=pNN=1, pi,i+1=p, pi,i-1=1-p, если 1iN-1 и pij=1 при |i-j|>1, то мы получаем цепь Маркова, чоторая описывает блуждание частицы по целым точкам отрезка [0,N] с поглощением на концах.
Блуждание с отражением. Пусть вероятности pi,i+1, pi,i-1, pij остаются теми же. Если определить еще p00=1-p, p01=p, pNN=p, pN,N-1=1-p, то полученная цепь Маркова моделирует блуждание частицы по целым точкам отрезка (-1/2, N+1/2) с отражением на концах.